预测策略内自蒸馏中特权信息的有效性
🧭 多轮代理场景下的自蒸馏训练
University of Michigan – Ann Arbor · Mila · Scale AI
系统评估多轮代理场景下16种特权信息配置，提出KL散度指标预测其训练收益
📌 工作参考价值（4 点）
- PI 的内容与生成源比固定设计更重要：优先选择信息密度高、由更强模型生成的轨迹片段作为 PI，尤其在多轮 Agent 对话中可显著提升自蒸馏收益。
- 训练前用 KL 指标预筛 PI 候选：计算 sampled-token reverse KL (D) 与 error-step KL contrast (Δd^{-}_{err})，比直接看 PI utility 更能稳定预测训练后性能，可避免信息泄漏导致的误判。
- 当候选 PI 差异较大时，利用 Δd^{-}_{err} 为每个任务动态选择 PI，比随机选择平均提升更高；适合业务中多任务、多轨迹来源的场景。
- 自蒸馏目标可与 GRPO 等强化学习目标结合，在有效 PI 下获得比纯 GRPO 更强的性能，适合需要兼顾模仿与探索的电商 Agent 训练。
视觉对比自蒸馏
🧭 多模态LLM · 在线自蒸馏
University of Maryland, College Park · University of California, San Diego · Duke University · MBZUAI
通过对比原图与内容擦除图的教师分布差异，无需外部教师或特权信号即可高效训练多模态LLM
📌 工作参考价值（4 点）
- 在商品图像理解的生成式推荐任务中，可构造“原图 vs 内容擦除图”的对比条件，让教师模型强化对商品关键特征的响应，抑制背景噪声，提升推荐文案或搜索查询生成的准确性。
- 使用 EMA 教师进行在线自蒸馏，无需外部强大教师，可降低训练成本。在 RLHF 或生成式检索的训练中，可基于模型自身分布差异构造更优训练目标。
- 对于 Agent 视觉决策（如 UI 操作），微调时采用该方法可使模型更关注任务相关区域，忽略无关背景，提升复杂界面下的精确操作能力。
- 方法不增加推理成本，适合部署在电商线上服务中，实现大规模商品图片的实时理解与描述生成。
dOPSD：基于去噪轨迹自蒸馏的扩散语言模型训练方法
🧭 扩散语言模型 · 在线策略自蒸馏 ★ 深度解读
National University of Singapore
将去噪轨迹的后续步骤作为特权信息进行在线自蒸馏，提升扩散语言模型的推理与泛化能力
📌 工作参考价值（4 点）
- 为生成式推荐中的扩散模型提供训练思路：若采用扩散模型生成Semantic ID或物品序列，可将解码轨迹的后续更“确信”状态作为教师信号，在掩码位置进行蒸馏，无须外部标注，实现纯在线自蒸馏，缓解曝光偏差。
- 通用在线蒸馏技巧：学生状态取随机真实解码步（非随机掩码完成序列），保证训练分布与推理一致。前向KL做主散度比反向KL更有效，因为可覆盖教师分布全貌，针对序列生成任务可优先选用。
- 无标注场景也可用：即使没有答案验证器，只从所有rollout中蒸馏仍能带来提升；验证器仅用于进一步筛选正确轨迹，可显著增加收益，但非强制，适用于推荐中缺乏强监督信号的情形。
- 可迁移至Agent动作序列训练：若将Agent行为建模为掩码序列去噪过程，可利用轨迹内后续步骤呈现的“全局视野”对早期动作提供弱监督指导，无需外部环境奖励或标注。
先观察后推理：解耦感知与推理的抗捷径多模态在线自蒸馏
🧭 解耦感知与推理防止文本捷径
State Key Laboratory of Robotics and Intelligent Systems, Shenyang Institute of Automation, Chinese Academy of Sciences · University of Chinese Academy of Sciences
提出 ViGOS，通过先视觉描述后推理并解耦感知与推理教师，防止多模态自蒸馏中基于文本的捷径，提升视觉 grounding。
📌 工作参考价值（4 点）
- 多模态模型训练防捷径：在电商商品理解任务中（如从图文预测属性），可借鉴先描述后推理的生成格式，并用纯图像教师监督描述部分，迫使模型依赖视觉而非文本偏差，提升跨模态对齐。
- 在线自蒸馏的应用：在推荐或多模态 agent 的循环训练里，可引入冻结副本提供稠密 token 级监督，替代稀疏奖励，以缓解学生模型生成与训练分布偏差。
- 错误恢复机制：对无效 rollout 使用参考教师恢复格式，可迁移到 agent 的自我校正或序列生成任务中，保证输出结构规整。
- 视觉推理任务增强：若业务涉及空间 grounding 或图文推理（如图片 QA、导航 agent），可将视觉描述前置，并结合专用感知教师，提升对图像的忠实度。
MAIGO：通过历史清洁化在线策略自蒸馏缓解对话丢失
🧭 多轮对话优化 · 在线策略自蒸馏 ★ 深度解读
Zhejiang University · Shanghai AI Laboratory · Huazhong University of Science and Technology · Fuzhou University · Tencent
用清理掉先前助手回复的参考分布进行在线蒸馏，消减多轮对话中的自污染，缩小全量 Prompt 与分片对话的准确率差距
📌 工作参考价值（4 点）
- 多轮 Agent 的中间回复污染问题：在电商导购、工具调用等多轮 Agent 场景，模型生成的中间回复（如过早的推荐、不完整的工具调用）会作为历史上下文影响后续决策。MAIGO 的思路是直接清理历史中的助手输出，训练模型在干净的用户侧前缀下响应，可借鉴用于构建对历史鲁棒的 Agent 策略。
- 无需奖励信号的在线自蒸馏：直接用 EMA 教师模型在清理后的上下文计算参考分布，避免了构造复杂稀疏奖励，可简化多轮 Agent 的微调流程。
- 自适应可靠性加权：用学生与参考分布在采样 token 上的对数概率差异生成权重，削弱漂移过大的中间轮次更新，防止模型从错误的自身历史中学习。这个 trick 可推广到其他在线学习场景，提高信号质量。
- 全量能力保持分支：通过概率 ρ 采样全量 Prompt 步骤进行 EMA 自蒸馏，避免分片微调损害模型在完整指令上的表现，对生成式推荐中既要提升多轮体验又要保持单轮推荐质量有借鉴意义。